Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
通过一系列联邦举措和命令，美国政府一直在努力确保美国在AI中的领导。这些广泛的战略文件影响了美国空军美国部（DAF）等组织。DAF-MIT AI加速器是DAF和MIT之间的一项计划，以弥合AI研究人员与DAF任务要求之间的差距。DAF-MIT AI加速器支持的几个项目正在开发公共挑战问题，这些问题解决了许多联邦AI研究的重点。这些挑战是通过公开可用的大型AI-Ready数据集，激励开源解决方案，并为可以激发进一步研究的双重使用技术创建需求信号，来针对优先事项。在本文中，我们描述了正在开发的这些公共挑战以及它们的应用如何促进科学进步。
translated by 谷歌翻译
数值验证是机器学习研究的核心，因为它允许评估新方法的实际影响，并确认理论和实践之间的一致性。然而，该领域的快速发展构成了一些挑战：研究人员面临着大量的方法来比较，有限的透明度和最佳实践的共识以及乏味的重新实施工作。结果，验证通常是非常部分的，这可能会导致错误的结论，从而减慢研究的进展。我们提出了Benchopt，这是一个协作框架，旨在在跨编程语言和硬件体系结构的机器学习中自动化，复制和发布优化基准。 Benchopt通过提供用于运行，共享和扩展实验的现成工具来简化社区的基准测试。为了展示其广泛的可用性，我们在三个标准学习任务上展示基准：$ \ ell_2 $ regulaine的逻辑回归，套索和RESNET18用于图像分类的培训。这些基准强调了关键的实际发现，这些发现对这些问题的最新问题更加细微，这表明在实际评估中，魔鬼在细节上。我们希望Benchopt能在社区中促进合作工作，从而改善研究结果的可重复性。
translated by 谷歌翻译
语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。
translated by 谷歌翻译
端到端（E2E）口语理解（SLU）的最新进展主要是由于对语音表示的有效预处理。这样的预处理是从最先进的基于文本的模型（如BERT）到语音编码器神经网络的语义知识的蒸馏。这项工作是迈向以更高效和细粒度的方式进行相同操作的一步，我们将语音嵌入和BERT嵌入以逐态为基础。我们介绍了一种简单而新颖的技术，该技术使用跨模式的注意机制从语音编码器中提取令牌级别的上下文嵌入，从而可以直接比较这些嵌入并与基于BERT的上下文嵌入。使用新型的令牌对比度损失进行此比对。对这样的预处理模型进行微调，以使用语音直接在两个广泛使用的SLU数据集上产生最先进的性能。当使用规格进行额外的正则化时，尤其是在语音嘈杂时，我们的模型会进一步改善，尤其是在嘈杂的语音时，绝对改善的最高速度比以前的结果高达8％。
translated by 谷歌翻译
Bilevel优化是在机器学习的许多领域中最小化涉及另一个功能的价值函数的问题。在大规模的经验风险最小化设置中，样品数量很大，开发随机方法至关重要，而随机方法只能一次使用一些样品进行进展。但是，计算值函数的梯度涉及求解线性系统，这使得很难得出无偏的随机估计。为了克服这个问题，我们引入了一个新颖的框架，其中内部问题的解决方案，线性系统的解和主要变量同时发展。这些方向是作为总和写成的，使其直接得出无偏估计。我们方法的简单性使我们能够开发全球差异算法，其中所有变量的动力学都会降低差异。我们证明，萨巴（Saba）是我们框架中著名的传奇算法的改编，具有$ o（\ frac1t）$收敛速度，并且在polyak-lojasciewicz的假设下实现了线性收敛。这是验证这些属性之一的双光线优化的第一种随机算法。数值实验验证了我们方法的实用性。
translated by 谷歌翻译
来自视频数据的多模态学习最近看过，因为它允许在没有人为注释的情况下培训语义有意义的嵌入，从而使得零射击检索和分类等任务。在这项工作中，我们提出了一种多模态，模态无政府主义融合变压器方法，它学会在多个模态之间交换信息，例如视频，音频和文本，并将它们集成到加入的多模态表示中，以获取聚合的嵌入多模态时间信息。我们建议培训系统的组合丢失，单个模态以及成对的方式，明确地留出任何附加组件，如位置或模态编码。在测试时间时，产生的模型可以处理和融合任意数量的输入模态。此外，变压器的隐式属性允许处理不同长度的输入。为了评估所提出的方法，我们在大规模HOWASET上培训模型，并评估四个具有挑战性的基准数据集上产生的嵌入空间获得最先进的视频检索和零射击视频动作定位。
translated by 谷歌翻译
语言不仅用于通知。我们经常寻求通过争论赞成特定观点来说服。说服提出了许多对信仰更新的古典账户的挑战，因为信息不能以面值采取。在包含新信息时，应如何占发言者的“隐藏议程”？在这里，我们延长了最近的递归社会推理概率模型，以便有说服力的目标，并表明我们的模型为什么为什么弱良好的争论可能反馈，这是一种称为弱证据效应的现象。批判性地，我们的模型预测了信仰更新和演讲者期望之间的关系：当时扬声器在有说服力的目标下行动时，弱的证据应该只有反馈，这意味着没有更强的证据。我们介绍了一个简单的实验范式，称为棍棒竞赛，以衡量弱证据效应取决于发言者期望的程度，并表明务实的侦听器模型占经验数据比替代模型更好。我们的研究结果表明了社会推理的理性模型的潜在途径，以进一步照亮决策现象。
translated by 谷歌翻译
2021-12-06
数据增强是自然语言处理（NLP）模型的鲁棒性评估的重要组成部分，以及增强他们培训的数据的多样性。在本文中，我们呈现NL-Cogmenter，这是一种新的参与式Python的自然语言增强框架，它支持创建两个转换（对数据的修改）和过滤器（根据特定功能的数据拆分）。我们描述了框架和初始的117个变换和23个过滤器，用于各种自然语言任务。我们通过使用其几个转换来分析流行自然语言模型的鲁棒性来证明NL-Upmenter的功效。基础架构，Datacards和稳健性分析结果在NL-Augmenter存储库上公开可用（\ url {https://github.com/gem-benchmark/nl-augmenter}）。
translated by 谷歌翻译
多式化学习的任务最近看过越来越多的兴趣，因为它允许基于诸如视觉，文本和音频等不同的模态培训神经架构。培训此类模型的一个挑战是他们需要共同学习语义概念及其跨不同输入表示的关系。已经显示胶囊网络在捕获低级输入特征和更高级别概念之间的关系中表现良好。然而，由于传统路由算法的资源需求，载体到目前为止，目前仅用于小规模的完全监督设置。我们提出了一种新的多模胶囊网络，使我们能够利用大量视频数据的多模式学习框架的胶囊的强度。为了使胶囊适应大规模的输入数据，我们提出了一种通过自我关注机制提出一种新颖的路由，从而选择相关胶囊，然后选择用于产生最终关节多模峰特征表示的相关胶囊。这不仅允许使用嘈杂的视频数据的强大培训，而且还允许与传统的路由方法相比扩展胶囊网络的大小，同时仍在计算效率。我们通过在大规模的多模式视频数据集上预先预留并在两个具有挑战性的下游任务中将其应用于四个数据集来评估所提出的架构。结果表明，与其他路由技术相比，所提出的多模胶囊网络不仅能够改善结果，而且还实现了对多式化学习任务的竞争性能。
translated by 谷歌翻译